CRAFT: Clustering Rubrics to Diagnose Weak LLM Capabilities and Generate Targeted Fine-Tuning Data
CRAFT: 聚类评分标准诊断LLM弱点并生成定向微调数据
🧭 评估驱动的弱能力诊断与定向数据生成
Scale AI
将评分标准视为能力探针，聚类构建能力树诊断模型薄弱能力，针对性生成微调数据，在专业领域显著提升性能。
📌 工作参考价值（4 点）
- 用评分标准（rubric）定位能力缺口：在电商搜索/推荐系统的模型评估中，将人工或自动评分规则（如“查询意图识别是否准确”“推荐多样性是否达标”）转化为能力探针，提取能力描述并聚类，自动发现模型在哪一类子能力上薄弱，而不仅是哪个样本出错。
- 定向生成微调数据：针对诊断出的弱能力节点，利用LLM批量生成针对性训练样本，避免全量数据收集的盲目性，提升数据迭代效率。例如，若诊断出“对长尾查询的语义理解弱”，可定向生成该类查询的标注数据。
- 层次能力树动态选择粒度：参考CRAFT的层次聚类与动态节点选择策略，在能力诊断时自适应地选择最明显的失败层级，避免过细或过粗导致的噪声，使微调更聚焦关键短板。
- 可嵌入持续学习流水线：在Agent或推荐系统上线后，周期性对线上badcase进行rubric标注 -> 能力诊断 -> 生成微调数据 -> 模型更新的闭环，实现持续自我改进。